Using extreme value theory for image detection

The primary target of content based image retrieval is to return a list of images that are most similar to a query image. This is usually done by ordering the images based on a similarity score. In most state-of-the-art systems, the magnitude of this score is very different from a query to another. This prevents us from making a proper decision about the correctness of the returned images. This paper considers the applications where a confidence measurement is required, such as in copy detection or when a re-ranking stage is applied on a short-list such as geometrical verification. For this purpose, we formulate image search as an outlier detection problem, and propose a framework derived from extreme values theory. We translate the raw similarity score returned by the system into a relevance score related to the probability that a raw score deviates from the estimated model of scores of random images. The method produces a relevance score which is normalized in the sense that it is more consistent across queries. Experiments performed on several popular image retrieval benchmarks and state-of-the-art image representations show the interest of our approach. Key-words: image search, image detection, nearest neighbor, extreme value theory ha l-0 07 89 80 4, v er si on 1 18 F eb 2 01 3 Détection d’images par valeurs extrêmes Résumé : L’objectif de la recherche d’image est de retourner une liste d’images qui sont les plus visuellement similaires à une image requête, par exemple en ordonnant les images en fonction d’un score de similarité entre descripteurs d’images. Dans la plupart des systèmes de l’état de l’art, les scores varient significativement d’une requête à l’autre, ce qui empêche de déterminer la qualité intrinsèque des résultats retournés par la requête. Cet article considère des applications pour lesquelles une telle mesure de confiance est requise, comme en détection de copies ou pour le reclassement d’image avec un système de vérification géométrique. Dans cet objectif, nous formalisons le problème de la recherche d’image comme un problème de détection d’outlier, en utilisant le cadre mathématique de la théorie des valeurs extrêmes. Nous transformons le score de similarité en une probabilité que le score dévie du modèle de score des images quelconques. Cette probabilité est un nouveau score de pertinence qui est comparable d’une requête à l’autre, et utilisé comme une mesure de confiance. Des expériences effectuées sur des jeux d’évaluation usuels et plusieurs systèmes de recherche d’images montrent l’intérêt de notre approche. Mots-clés : recherche d’image, détection d’image, plus proches voisins, théorie des valeurs extrêmes ha l-0 07 89 80 4, v er si on 1 18 F eb 2 01 3 Using extreme value theory for image detection 3 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 0 20 40 60 80 100 120 140 160 180 200 di st an ce rank TP:query 1 TP:query 2 -0.25 -0.2 -0.15 -0.1 -0.05 0 0 20 40 60 80 100 120 140 160 180 200 no rm al iz ed s co re rank TP:query 1 TP:query 2 Figure 1: Illustration of the thresholding problem: Left: Two queries with the GIST descriptor in 1 million images. It is not possible to threshold the raw scores (here, Euclidean distances) to separate true positives from false positives. Right: The same queries, where our method have ‘normalized’ the raw scores into more meaningful relevance scores (log-likelihoods).